Ngày 31 tháng 8 năm 1995, Thủ tướng Chính phủ Việt Nam ra Quyết định số 525-TTg về việc thành lập Ngân hàng Phục vụ Người nghèo [3] để giúp người nghèo vay vốn phát triển sản xuất, giải quyết đời sống góp phần thực hiện mục tiêu xoá đói giảm nghèo, không vì mục đích lợi nhuận, thực hiện bảo tồn vốn ban đầu, phát triển vốn, bù đắp chi phí. Khi này Ngân hàng chỉ tham gia ban hành chính sách, còn việc điều hành tác nghiệp ủy thác cho Ngân hàng Nông nghiệp và Phát triển Nông thôn Việt Nam đảm nhận.[1][4]

Sau bảy năm Ngân hàng Phục vụ người nghèo hoạt động, nhằm tách tín dụng chính sách ra khỏi hoạt động tín dụng thông thường của các ngân hàng thương mại nhà nước,[4] ngày 4 tháng 10 năm 2002, Chính phủ ban hành Nghị định số 78/2002/NĐ-CP về tín dụng đối với người nghèo và các đối tượng chính sách khác [5]; cũng trong ngày này, Thủ tướng Chính phủ ký Quyết định số 131/2002/QĐ-TTg thành lập Ngân hàng Chính sách xã hội để cho vay người nghèo và các đối tượng chính sách khác. Vốn điều lệ ban đầu của Ngân hàng là 5 nghìn tỷ đồng và được cấp bổ sung phù hợp với yêu cầu hoạt động từng thời kỳ. Thời hạn hoạt động là 99 năm.[2] Ngày 11 tháng 3 năm 2003, Ngân hàng chính thức hoạt động.

Đến ngày 30 tháng 9 năm 2017, tổng nguồn vốn của Ngân hàng là hơn 179.000 tỉ đồng, gấp hơn 25 lần so với khi thành lập. Tổng dư nợ các chương trình tín dụng chính sách đạt hơn 169.000 tỷ đồng, gấp 24 lần so với khi thành lập. Hơn 6,7 triệu hộ nghèo và các đối tượng chính sách còn dư nợ. Hơn 31,8 triệu lượt hộ nghèo và đối tượng chính sách khác đã vay vốn từ Ngân hàng, nhờ đó hơn 4,5 triệu hộ vượt qua ngưỡng nghèo.[6] Vốn ủy thác của địa phương gần 8.500 tỉ đồng.[7]